Dưới thời Lê vào khoảng năm 1624, Thượng thư Nguyễn Khải đã cho chuyển thủ phủ Trấn Sơn Nam từ thôn Tường Lân (xã Trác Văn) thị xã Duy Tiên phủ Lý Nhân đến đóng ở thôn Châu Cầu thuộc Tổng Phù Đạm, huyện Kim Bảng, phủ Lỵ Nhân, Trấn Sơn Nam Thượng. Đến năm 1832, vua Minh Mạng quyết định bỏ đơn vị trấn thành lập đơn vị hành chính Tỉnh, phủ Lỵ Nhân được đổi là phủ Lý Nhân thuộc tỉnh Hà Nội.

Đến tháng 10 năm 1890 (đời vua Thành Thái năm thứ 2), tỉnh Hà Nam được thành lập trên cơ sở phủ Lý Nhân của tỉnh Hà Nội, tỉnh lỵ đặt tại thôn Châu Cầu, huyện Kim Bảng (sau được chuyển thành thị xã Hà Nam).

Trong cuộc kháng chiến trường kỳ chống thực dân Pháp (1945-1954), dưới sự lãnh đạo của Đảng, quân và dân thị xã Hà Nam đã kiên cường bám trụ, đánh địch trên tất cả các mặt trận, lập nên nhiều chiến công vang dội, tiêu diệt nhiều quân địch và đến ngày 3 tháng 7 năm 1954, thị xã sạch bóng quân Pháp xâm lược, được hoàn toàn giải phóng.

Với những thành tích xuất sắc trong sản xuất và chiến đấu, ngày 29 tháng 1 năm 1966, Đảng bộ, nhân dân và lực lượng vũ trang thị xã Hà Nam đã vinh dự được Chủ tịch nước phong tặng danh hiệu cao quý: "Anh hùng lực lượng vũ trang nhân dân" trong thời kỳ kháng chiến chống Mỹ cứu nước.

Giai đoạn (1965-1996) tỉnh Nam Định sáp nhập với Hà Nam thành tỉnh Nam Hà sau đó sáp nhập với tỉnh Ninh Bình thành tỉnh Hà Nam Ninh, khi đó Hà Nam là một thị xã trực thuộc tỉnh. Ngày 27 tháng 4 năm 1977, huyện Kim Bảng hợp nhất với huyện Thanh Liêm cùng với thị xã Hà Nam thành huyện Kim Thanh, Hà Nam là thị trấn thuộc huyện Kim Thanh[6]. Ngày 9 tháng 4 năm 1981, thị xã Hà Nam được tái lập[7], gồm 4 phường: Hai Bà Trưng, Lương Khánh Thiện, Minh Khai, Trần Hưng Đạo. Ngày 17 tháng 12 năm 1982, sáp nhập 2 xã Thanh Châu và Liêm Chính thuộc huyện Thanh Liêm vào thị xã Hà Nam[8]. Từ ngày 1 tháng 1 năm 1997, thực hiện Nghị quyết kỳ họp thứ 10 Quốc hội khóa XI, tỉnh Hà Nam được tái lập[9]. Thị xã Phủ Lý (đổi tên từ thị xã Hà Nam cũ) được xác định là trung tâm tỉnh lỵ của tỉnh.

Qua 10 năm đầu tư xây dựng sau khi tái lập Tỉnh được Tỉnh ủy - HĐND – ủy ban nhân dân Tỉnh đặc biệt quan tâm chỉ đạo thị xã Phủ Lý đã từng bước phát triển.

Ngày 25 tháng 9 năm 2000, thị xã Phủ Lý được mở rộng thêm trên cơ sở sáp nhập 2 xã Phù Vân và Châu Sơn thuộc huyện Kim Bảng, xã Liêm Chung thuộc huyện Thanh Liêm và xã Lam Hạ thuộc thị xã Duy Tiên, cũng từ đó thành lập 2 phường Lê Hồng Phong (từ một phần xã Châu Sơn) và Quang Trung (từ một phần xã Lam Hạ)[10].

Ngày 1 tháng 1 năm 2007, thị xã đã chính thức trở thành đô thị loại III và trở thành thành phố trực thuộc tỉnh Hà Nam vào ngày 9 tháng 6 năm 2008 theo nghị định 72/2008/NĐ-CP của Chính phủ[11]. Đây là sự kiện rất quan trọng, đánh dấu sự trưởng thành của một thành phố trẻ đã chịu sự tàn khốc của chiến tranh.

Ngày 23 tháng 7 năm 2013, thành phố Phủ Lý được mở rộng thêm trên cơ sở sáp nhập 3 xã: Tiên Tân, Tiên Hiệp, Tiên Hải thuộc thị xã Duy Tiên; 2 xã Đinh Xá, Trình Xá thuộc huyện Bình Lục; 3 xã: Liêm Tuyền, Liêm Tiết, Thanh Tuyền thuộc huyện Thanh Liêm; xã Kim Bình và một phần xã Thanh Sơn thuộc huyện Kim Bảng; cũng từ đó chuyển 5 xã: Thanh Châu, Châu Sơn, Liêm Chính, Lam Hạ, Thanh Tuyền (sau khi điều chỉnh về thành phố Phủ Lý quản lý) thành các phường có tên tương ứng[12].

Ngày 4 tháng 12 năm 2018, Thủ tướng Chính phủ ký Quyết định số 1678/QĐ-TTg công nhận thành phố Phủ Lý là đô thị loại II trực thuộc tỉnh Hà Nam.[13]